Eind 18de eeuw bezat apotheker De Ruysscher een jachtpaviljoen, dat in de jaren 1860 vervangen werd door een kasteel in Victoriaanse stijl, uitgevoerd in rode baksteen. Door huwelijk kwam het in handen van de Ieperse adellijke familie Hynderick de Ghelcke.
Tijdens de gevechten om Diksmuide, eind oktober, begin november 1914, zou het kasteel totaal vernield geraken. Op 16 oktober 1914, toen de Slag om de IJzer nog moest losbarsten, bezette de 6de Duitse legerdivisie het kasteel van Esen, om van daaruit een aanval op Diksmuide in te zetten. Het domein zou tot het Eindoffensief (september 1918) in Duitse handen blijven.
In 1925 werd het kasteel in neoclassicistische heropgebouwd door architect Lauwers. Nu werd gele baksteen gebruikt. Tijdens de Tweede Wereldoorlog werd het kasteel niet beschadigd, maar was het lange tijd bezet door de Duitsers. Eind 1944 verbleef o.m. de Britse veldmaarschalk Montgommery in het Esenkasteel.
Suzanne Hynderick de Ghelcke verliet het domein en verkocht het in 1983 aan de stad Diksmuide, die er niet meteen een bestemming voor had. In de tweede helft van de jaren '80 werd het een tijdje een oorlogsmuseum. Omstreeks 1996 werd het landhuis gekocht door de Provincie West-Vlaanderen. Sindsdien is de provinciale streekwerking voor de Westhoek hier gevestigd.